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摘 要 :为 解决 运动 相机 与 激光 雷达 之 间 的 数据 匹配 问题 ,设计 了 一 种 基于 Levenberg-Marquard(LM) 算 法 的 运动 相机 与 
激光 雷达 联合 标定 优化 方法 。 首 先 将 标定 板 放 置 在 激光 雷达 与 运动 相机 公共 视野 范围 内 ,通过 改变 标定 板 位 置 ,采集 不 同 
位 置 下 标定 对 象 的 激光 点 云 和 图 像 数 据 。 然 后 通过 OpenCV 调用 鱼 眼 畸变 校正 函数 对 图 像 畸 变 校正 ,并 获取 多 组 标定 板 
T 点 像素 坐标 。 与 此 同时 对 激光 点 云 进行 点 云 滤波 和 点 云 配 准 操作 ,并 采用 手动 与 自动 相 结合 的 方法 对 激光 点 云 进 
行 分 割 , 进 而 通过 点 云 中 心 迭代 算法 求解 出 标定 板 点 云 中 心 坐标 和 各 个 角 点 的 点 云 坐标 。 最 后 通过 多 组 表示 标定 板 角 点 
a 的 图 像 像素 坐标 利用 直接 线性 变换 法 (DLT) 计 算 两 传感器 间 联 合 标定 初 值 , 并 构造 点 云 重 投影 坐 标 
图 像 像 素 坐 标 差 值 的 最 小 二 乘 函数 ,通过 引入 阻尼 因子 的 LM 算法 对 该 函数 进行 优化 ,并 求解 出 优化 后 的 联合 标定 结 
。 实 验 结果 表明 ,联合 标定 结果 与 初 值 相 比 , 重 投 影 误差 降低 了 35% ,利用 联合 标定 结果 基于 共 线 方程 原理 实现 激光 点 
G3 与 图 像 融 合 ,验证 了 该 方法 的 准确 性 和 有 效 性 。 
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stract: In order to solve the data matching problem between sports camera and lidar, a joint calibration optimization meth- 


of sports camera and lidar based on Levenberg-Marquard (LM) algorithm is designed. First, the calibration board is 
placed in the common field of view of the lidar and the sports camera, and the laser point cloud and image data of the calibra- 
tion object at different positions are collected by changing the position of the calibration board. Then the fisheye distortion 
correction function is called through OpenCV to correct the image distortion, and obtain multiple sets of pixel coordinates of 
the corner points of the calibration plate image. At the same time, point cloud filtering and point cloud registration are per- 
formed on the laser point cloud，and the laser point cloud is segmented by a combination of manual and automatic methods， 
and then the point cloud center iterative algorithm is used to solve the calibration board point cloud center coordinates and 
The point cloud coordinates of each corner point. Finally, through multiple sets of point cloud coordinates representing the 
corner points of the calibration board and the corresponding image pixel coordinates，the direct linear transformation method 
(DLT) is used to calculate the initial value of the joint calibration between the two sensors, and the difference between the 
point cloud reprojection coordinates and the image pixel coordinates is constructed. The least squares function of, the func- 
tion is optimized by the LM algorithm that introduces the damping factor, and the optimized joint calibration result is 
solved. Experiments show that the joint calibration result reduces the reprojection error by 35% compared with the initial 


value. The joint calibration result is used to achieve laser point cloud and image fusion based on the principle of collinear 
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equations, which verifies the accuracy and effectiveness of the method. 


Key words: laser radar; Sports cameras; joint calibration; image distortion correction; direct linear transformation; least 
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运动 相机 与 三 维 激光 雷达 组 成 的 多 传感器 系统 
作为 实现 室内 场景 三 维 重建 和 室外 数字 化 摄影 测绘 
重要 的 技术 手段 ,目前 正 被 广泛 研究 和 应 用 。 图 像 数 
据 包 含 丰富 的 颜色 纹理 信息 ,激光 点 云 数据 提供 了 物 
体高 精度 三 维 位 置信 息 ,将 两 者 进行 数据 融合 可 以 优 
势 互 补 ,实现 室内 环境 三 维 重建 。 由 于 两 传感器 采集 
的 数据 均 是 在 各 自 坐 标 系 下 的 表示 ,只 有 准确 获取 两 
传感器 之 间 的 联合 标定 参数 矩阵 ,才能 更 好 地 实现 数 
据 融合 。 
一 两 传感器 间 联 合 标定 是 利用 标定 板 角 点 所 对 应 
激 涡 点 云 三 维 坐 标 和 图 像 二 维 坐标 来 构造 参数 方程 ， 
进而 求解 出 两 传感器 间 的 联合 标定 矩阵 。 常 用 标定 
板 的 特征 角 点 有 点 .直线 和 平面 等 特征 ,其 中 利用 平 
醒 铂 征 方法 可 以 避免 出 现 混合 像素 现象 ,因而 被 研究 
者 世 泛 采用 。 Ishikawa 等 六 提出 一 种 无 目标 的 , 利 
用 请 感 器 融合 里 程 计 实 现 相机 激光 雷达 自动 标定 广 
活 、 JKang 等 中 提出 一 种 无 需 人 造 目标 即 可 精确 估计 
出 与 激光 雷达 之 间 刚 体 变换 联合 标定 算法 ,通过 对 
er oe i a 
估算 校准 参数 ， Huang 等 中 提出 一 种 确定 激光 雷 
上 林寺 .过 有 有 条 
标定 物 减少 激光 雷达 量化 和 系统 误差 ,改善 目标 姿态 
估计 ,实现 激光 雷达 点 云 投影 到 图 像 相 应 角 点 上 。 塌 
下 村 等 中 利用 相机 坐标 系 和 激光 雷达 坐标 系 下 棋盘 
面 吸 据 对 应 性 ,将 外 参 标定 转换 为 三 维 空间 中 旋转 、 
缩放 矩阵 求解 问题 。 俞 德 崎 等 四 利用 ArUco 标签 确 
定 标定 板 在 激光 点 云 坐 标 系 与 相机 坐标 系 间 关系 , 通 
过 随机 采样 一 致 性 算法 提取 标定 板 角 点 坐标 并 建立 
对 应 关系 方程 ,通过 Kabsh 算法 求解 配 准 参数 。 唐 
庆 博 等 中 利用 单 点 激光 替换 激光 测 距 仪 ,通过 激光 - 
光 心 共 线 方程 实现 高 精度 外 参 矩 阵 求解 。 魏 克 全 
等 四 利用 传感器 测量 原点 到 靶 标 平面 的 距离 ,构建 对 
应 方程 ,并 提出 一 种 基于 重 投影 误差 的 计算 方法 , 通 
SR i A 
结果 的 影响 ,但 其 联合 标定 参数 精度 还 有 待 提高 

鉴于 此 ,在 文献 [7] 的 基础 上 对 运动 相机 与 三 维 
激光 雷达 联合 标定 进行 优化 ,提出 了 一 种 基于 LM 
算法 的 运动 相机 与 激光 雷达 联合 标定 优化 方法 。 通 
过 运动 相机 与 激光 雷达 实际 联合 标定 实验 ,验证 了 该 
优化 方法 的 准确 性 和 有 效 性 ,为 实现 激光 点 云 与 图 像 
数据 之 间 的 融合 以 及 推动 数字 摄影 测绘 领域 的 发 展 


提供 了 依据 。 
1 联合 标定 模型 


实现 运动 相机 与 激光 雷达 间 的 联合 标定 3 , 首 
先 需 将 标定 板 放 置 在 激光 雷达 和 运动 相机 共同 观测 
范围 内 ,通过 激光 雷达 和 运动 相机 分 别 采 集 标定 板 角 
点 所 对 应 的 三 维 激 光 点 云 坐 标 和 图 像 像 素 坐 标 ,构建 
方程 组 求解 出 联合 标定 矩阵。 运动 相机 与 三 维 激光 
雷达 间 联 合 标定 模型 如 图 1 所 示 。 其 中 , Ow- 
XwYwZw 表示 激光 雷达 坐标 系 ,Oc-XcYcZc 为 运动 
相机 坐标 系 , 和 了 分 别 表 示 2 个 坐标 系 之 间 的 旋转 
矩阵 和 平移 矩阵 。 


Xiw Ee 2 


Zc 
Yc 


图 1 运动 相机 与 激光 雷达 联合 标定 模型 


运动 相机 坐标 系 与 激光 雷达 坐标 系 之 间 的 变换 
关系 为 


Xe 及 WwW 
Yc 一 下 Yw 十 了 工 。 (1) 
Ze Zw 


1.1 运动 相机 模型 


运动 相机 是 超 广角 相机 ,但 其 符合 针 孔 相机 模 

型 。 首 先 以 Ow 为 局 部 空间 坐标 系 原点 ,建立 Ow- 
XwYwZw 局 部 空 间 三 维 坐 标 系 ,其 表示 物体 在 局 部 
三 维 空间 坐标 系 下 的 三 维 坐标 ,此 处 可 表示 三 维 激光 
点 云 坐 标 。 然 后 以 Oc 为 原点 ,建立 Oc-XcYcZe 运 
动 相 机 像 空间 坐标 系 。 最 后 以 O 为 原点 ,建立 O -zyz 
图 像 的 像 平面 坐标 系 ,其 中 原点 O 为 相机 的 像 主 点 ， 
z 轴 与 Zc 轴 重 合 。 运 动 相机 模型 如 图 2 所 示 。 

根据 运动 相机 针 孔 成 像 模型 原理 ,图 像 像 素 坐 标 
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图 2 运动 相机 模型 


系 与 相机 坐标 系 之 间 的 关系 为 


> u /a 0 Wo Xe 

© 3 | 了 | 一 ， f, vo C MiPe, (2) 
CI loo 1lze 
其 办 G40) 为 空间 某 点 了 在 像 平面 投影 点 p 的 像素 


些 磊 ;了 为 运动 相机 焦距 ; (uo ,wu ) 为 像 平面 主 点 像素 
愉 椅 ;M, 为 运动 相机 的 内 参 和 矩阵 ;* 为 比例 因子 。 


GN 局 部 三 维 空 s 间 坐标 系 与 运动 相机 空间 坐标 系 之 
时 六 变换 关系 使 用 齐 次 坐标 表示 为 

QQ Xvw 

和 Xe 

PP R T Yw A 

一 Yc|= kn | 三 MPvw， (3) 
>< 了 0 1 Zw 
其 而:R 和 了 分别 表示 局 部 空间 坐标 系 到 运动 相机 


尼 先 系 之 间 的 旋转 逢 阵 和 平移 矩阵 ;M2 为 激光 雷达 
与 琶 动 相机 间 的 联合 标定 矩阵 。 
由 式 (2)、(3) 可 得 ,局 部 三 维 空 
与 其 投影 点 pb 之 间 的 关系 为 
MM,Pw=MPyw, (4) 
其 中 ,M 表示 Mi 与 M， 的 乘积 ,是 局 部 三 维 空间 举 
标 系 到 图 像 像素 坐标 系 之 间 的 旋转 平移 矩阵 的 符号 
表示 。 


1.2 图 像 畸变 校正 原理 


超 广角 运动 相机 ,采集 的 图 像 具 有 一 定 畸 变 , 因 
此 需 对 图 像 进行 畸变 校正 。 基 于 OpenCV 3. 0 的 鱼 
眼 相 机 上 畸变 校正 原理 “中 对 图 像 畸 变 校正 。 

根据 针 孔 相机 模型 , 奉 求 解 局 部 三 维 空间 坐标 系 
下 点 卫 在 图 像 像 素 坐 标 系 下 的 坐标 , 需 将 像 平 面 系 
下 坐标 做 归 一 化 处 理 , 得 到 像素 坐标 系 下 坐标 : 


& 一 工 /z， 


s 间 坐标 系 下 点 卫 


(5) 


已 一 y/z， 


其 中 ,(z ,yz) 为 点 卫 在 像 平面 坐标 系 下 的 坐标 。 
然后 将 图 像 平面 模型 下 图 像 的 像素 点 坐标 转换 
为 鱼 眼 半球 模型 下 极 坐 标 : 


2 2 2 
7 一 WU vy, 


(6) 


0=u tanr, 
其 中 : (u,v) 为 畸变 校正 前 图 像 的 像素 坐标 ; (x ,0) 为 
在 鱼 眼 半球 下 的 极 坐标 。 
获得 鱼 眼 半球 下 的 极 坐 标 后 , 需 通 过 Gopro 运 
动 相 机 鱼 眼 失真 误差 模型 进行 计算 ,误差 04 的 求解 
公式 为 
04 二 0(1 十 Ri 十 k20* 十 ka30 十 R40*)， (7) 
其 中 ,ki1、ks、k3、ki 为 运动 相机 畸变 参数 ,可 通过 对 
运动 相机 进行 畸变 校正 获得 
利用 误差 0u 将 三 维 空 s 间 点 坐标 重 投 时 区 到 二 维 图 
像 平面 ,得 到 畸变 校正 后 的 点 坐标 (x ,y )， 
ee 
多 一 (Our)y。 
利用 畸变 校正 后 的 激光 点 云 坐标 求解 出 畸变 校 
正 后 的 像素 坐标 (x ,zw )， 
u =fux’ 十 xz， 
二 fy 十 vo。 
最 后 通过 双 线 差 值 法 将 像素 坐标 (wu ,wv) 对 应 图 
像 的 RGB 颜色 值 赋 给 畸变 校正 后 的 像素 坐标 (x'， 
v') ,得 到 畸变 校正 后 的 标定 板 图 像 。 


1.3 激光 点 云 预 处理 


激光 雷达 采集 激光 点 云 数据 后 , 需 对 激光 点 云 进 
行 预 处 理 操作 ,进而 为 激光 雷达 与 运动 相机 联合 标定 
奠定 坚实 的 基础 。 激 光 点 云 预 处 理 包括 点 云 滤 波 、 点 
云 配 准 、 点 云 分 割 及 求 标 定 板 点 云 中 心 和 点 云 角 点 坐 
标 等 操作 。 在 实际 项 目 中 ,为 提高 激光 雷达 与 运动 相 
机 联合 标定 精度 , 须 准确 获取 标定 板 点 云 中 心 坐标 和 
标定 板 各 个 角 点 坐标 。 通 过 人 工 手动 操作 获取 标定 
板 点 云 中 心 坐 标 不 仅 费 时 费力 ,而 且 准 确 度 不 高 。 
此 ,采用 一 种 手动 与 自动 相 结 合 的 点 云 分 割 方法 实现 
对 目标 场景 的 点 云 分 割 ,并 通过 点 云 中心 迭 代 算法 求 
得 标定 板 点 云 中 心 及 各 角 点 坐标 。 激 光 点 云 预 处 理 
流程 如 图 3 所 示 。 

激光 雷达 采集 的 激光 点 云 需 通过 点 云 滤波 操作 
对 场景 点 云 中 存在 的 噪声 点 进行 去 品 , 再 通过 点 云 配 
准将 不 同 姿态 下 激光 点 云 坐 标 统一 到 一 个 坐标 系 下 ， 
进而 通过 手动 操作 对 配 准 后 点 云 进 行 点 云 分 割 ,获得 
包含 标定 板 的 激光 点 云 场景 ,最 后 通过 Kmeans 聚 类 
算法 "中 进行 自动 拟 合 处 理 ,获得 准确 含 标定 板 的 


点 云 。 


(8) 


(9) 
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ee 集 思 想 ,通过 点 云 中 心 迭 代 算法 求解 出 准确 的 标定 板 
人 点 云 中 心 坐 标 以 及 各 个 角 点 坐标 。 点 云 中 心 迭 代 算 
点 二 泪 波 法 在 保证 点 云 特征 不 变 的 同时 ,通过 缩小 点 云 空间 范 
滤波 后 点 去 围 ,进而 有 效 降低 离 群 点 带 来 的 误差 影响 。 点 云 挝 代 
点 云 配 准 算法 详细 步骤 如 下 : 
二 1) 对 于 点 云集 Q 二 {gq1,92,…,q4) ,通过 求 均值 
手动 点 医 分 制 的 方法 计算 标定 板 的 初始 中 心 点 坐标 : 
包含 标定 板 点 云 -2 (12) 
et i 其 中 :k 为 激光 点 云集 Q 中 三 维 激光 点 云 的 数目 ;9 
只 会 标定 板 点 去 为 第 i 个 激光 点 坐标 ; 7 为 这 于 个 激光 点 云 坐 标的 
点 云 中 心 | 达 代 算法 均值 
点 云 中 心 及 角 点 坐标 2) 计 算 点 云集 各 激光 点 云 坐标 与 该 点 云 中 心 之 
> 图 3 点 云 预 处 理 流程 间 的 距离 总 和 : 


Dmeans 聚 类 算法 具体 实现 步 又 如 下 : 

全 首先 从 标定 板 点 云 数据 集中 随机 选取 站 组 并 初 
婚 旨 为 点 云 聚 类 中 心 C,(1<i<k) ,计算 其 他 众多 数 
据 对 象 点 云 与 聚 类 中 心 C; 的 欧 氏 距离 , 找 出 离 目标 
数据 对 象 最 近 的 聚 类 中 心 C, ,并 将 数据 对 象 点 云 分 
到 聚 类 中 心 C; 对 应 的 点 云 徐 中 。 然 后 计算 每 个 
点 过 筷 中 数据 对 象 点 云 的 平均 值 并 将 其 作为 新 的 聚 
六 ,再 进行 下 一 次 迭代 更 新 ,直到 聚 类 中 心 不 再 
变 伦 或 达到 最 大 的 兴 代 次 数 , 则 停止 兴 代 更 新 。 空 间 


中 糯 据 对 象 点 云 与 点 云 聚 类 中 心间 的 欧式 距离 为 
全 mm 


三 0 —C;,;)’,， (10) 


My: 2Z 为 数据 对 象 点 云 ;C， 个 聚 类 中 心 ;m 
为 数据 对 象 点 云 的 维度 ;zx ,; 分别 为 x、C; 的 第 7 


es 


个 属性 值 。 

整个 数据 集 的 误差 平方 和 为 
k 为 激光 点 云 息 个 数 ,ss 的 大 小 表示 聚 类 算法 结 
的 优 劣 。 


经 Kmeans 聚 类 算法 对 激光 点 云 处 理 后 ,标定 板 
激光 点 云 周 边 不 属于 标定 板 的 点 云 大 多 数 会 被 自动 
去 除 ,最 后 只 剩 下 包含 标定 板 的 激光 点 云 。 

因 激 光 雷 达 人 硬件 结构 特点 ,导致 采集 的 点 云 数据 
存在 一 定 误差 。 激 光 点 云 经 预 处 理 后 , 仍 存 在 特别 少 
的 离 群 点 偏离 棋盘 格 标定 板 平 面 ,此 时 若 直 接 通 过 求 
均值 方法 求解 出 标定 板 点 云 中 心 点 坐标 和 各 个 角 点 
的 点 云 坐标 ,其 求解 结果 会 不 准确 ,影响 运动 相机 与 
激光 雷达 之 间 的 联合 标定 精度 。 

为 提高 两 传感器 间 的 联合 标定 精度 ,基于 点 云 聚 


D3 lq;—al., (13) 
3) 利 用 各 个 激光 点 云 坐标 与 点 云 中 心间 距离 总 
和 DD, 对 激光 点 云集 Q 更 新 ,计算 得 到 更 新 后 点 云集 


Q'={g1' ,gs ss,gp }, 
i (14) 
4) 对 Q’ ={g1 ,gs ,gy ;再 次 通过 十 求 均 值 的 
方法 计算 更 新 后 的 标定 板 中 心 点 云 坐标 : 
g =2q。 (15) 
5) 计 算 g 与 9 的 差 值 ,并 与 s, 做 比较 : 
17 —al <e,, (16) 


其 中 ,e, 为 迭代 误差 闹 值 。 

6) 若 了 与 7 之 间 的 差 值 小 于 迭代 误差 阀 值 , 则 
g 为 该 点 云集 的 中 心 ,否则 继续 按 式 (12) ~(15) 进 
行 迭代 计算 。 

求 出 激光 点 云 中 心 坐标 后 , 需 对 标定 板 的 各 个 角 
点 坐标 进行 计算 。 根 据 标定 板 实际 尺寸 大 小 标定 每 
行 每 列 黑白 方块 个 数 及 求解 出 的 标定 板 点 云 中 心 点 
坐标 ,计算 出 标定 板 各 个 角 点 的 点 云 坐标 。 


2 联合 标定 


2.1 求解 初 值 


要 实现 激光 雷达 与 运动 相机 之 间 的 联合 标定 , 需 
通过 多 组 标定 板 点 云 角 点 坐标 和 相对 应 的 图 像 角 点 
坐标 求解 得 到 。 首 先 基于 直接 线性 变换 法 (DLT) 利 
用 图 像 角 点 坐标 与 相对 应 的 激光 点 云 坐标 构建 多 组 
线性 方程 组 ,对 多 组 线性 方程 组 进行 求解 ,得 到 两 传 
感 需 之 间 联 合 标定 初 值 。 由 式 (2) 一 (4) 可 得 
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| 高 斯 牛顿 法 要 求 J(Cz,) 和 矩阵 为 行 满 秩 矩 阵 , 故 无 
Ui 2 : E » 

_ | ,| , Yow, 本 法 使 用 J(z,) 和 矩阵 求解 非 线 性 方程 组 相关 奇异 问题 。 
oe LM 算法 对 高 斯 牛顿 法 进行 改进 ,通过 引入 一 个 正定 
2 矩阵 wl, 并 将 其 加 到 (J (xz.))TJ (zx) 上 ,使 之 成 为 正 


其 中 :CXw,;,Yw.; ,Zw.i) 为 棋盘 格 激 光 点 云 中 第 i 个 
角 点 的 点 云 坐 标 ; (wj ,v; ,1) 为 第 i 个 角 点 的 图 像 坐 标 。 

式 (17) 消 去 s; 后 ,得 到 关于 亡 的 线性 方程 组 : 

ttoY tsZ 和 tt —utoX —utoY—utZ = Wty, 

tsXteYttZ ts —vtoX—vtoY—vtZ = vity, 

(18) 

其 中 ,zi; 为 待 求 变量 ,每 个 特征 点 提供 了 2 个 关于 
的 线性 约束 。 

对 个 特征 点 ,可 得 2n 个 关于 z; 变量 的 线性 方 
程 、 由 于 z; 共有 12 个 变量 ,至 少 需 6 对 匹配 点 才 可 
实现 对 所 有 变量 的 线性 求解 。 求 解 出 的 所 有 变量 组 
成 的 矩阵 就 是 激光 雷达 与 运动 相机 间 的 联合 标定 抵 
阵 初 值 。 


内 LM(Levenberg-Marquardt) 优 化 算法 


LM 优化 算法 "站 是 一 种 经 过 多 次 验证 ,可 以 有 
烽 对 线性 最 小 一 科 开 的 经典 算法 。 该 算法 集成 
1 天 和 二 站 和 印度 下 降 法 2 种 算法 各 自 的 优势, 通 
过 控制 改变 阻尼 因子 变量 的 值 , 即 通过 调节 每 次 算法 
壕 代 的 步 长 ,有 效 提升 并 优化 效率 ,实现 对 目标 卫 数 
最 脲 二 乘法 优化 , 求 出 最 佳 的 旋转 平移 矩阵 。 

心 由 直接 线 1 ee 并 六 


ee 对 


， 
F(X) = > fM ,ki1,R, ,RR; ,Rs ;Ri;,t;) = 
i=1 

OFT 

;一 1 

> (a Tai = Ui 3 十 (a yd Wo 已 )， 

i=1 

(19) 

其 中 : (zo; ,ya,i) 分 别 为 第 i 个 标定 板 角 点 点 云 坐 标 


经 过 反 云 重 投 晤 区 到 标定 板 平 面 的 坐标 ; (uj ,v; ) 为 第 
个 标定 板 角 点 所 对 应 的 实际 坐标 。 

由 于 LM 算法 集成 了 最 速 下 降 法 和 高 斯 牛顿 法 各 

自 的 优点 ,可 通过 试探 步 4d, 来 进行 调节 。 对 式 (19)， 
高 斯 牛顿 法 求解 问题 的 试探 步 d 用 函数 表示 为 

di =— (J TH) Tx Fr), (20) 

i (zx) 关 于 xz 的 导数 (雅克 比 矩 阵 )， 

Xx“ 为 函数 其 中 的 一 个 解 。 


定 和 矩阵 。 此 时 LM 算法 的 迭代 步 长 为 
di; =— (J Tr) ul) x) XF(r,), 
(21) 

其 中 : 工 为 单位 矩阵 ;zx 为 LM 参数 。 当 wu->0 时 ,dv 趋 
向 于 高 斯 牛顿 法 , 当 w->oo,qd; 趋向 于 最 速 下 降 法 。 
将 直接 线性 变换 法 求 得 的 联合 标定 矩阵 作为 冰 
数 初 值 , 且 取 i、ks、k;、k4 初 值 均 为 0, 进 行 迭 代 优 
化 求解 。LM 算法 实现 详细 步骤 如 下 : 

1) 输入 初 值 zu ,初始 化 参数 二 0. 01, 设 
e=1X10™; 

2) 计算 FCr) 和 J (zx) 的 值 ; 

3) 计算 di , 则 更 新 后 ,XX, 1 一 X， 十 cd ; 

4) 若 下 C(x) 过 F(zx*), 且 | 4 二 se | , 则 停止 
迭代 ,并 输出 优化 后 联合 标定 结果 ;否则 ,wu 二 u/2, 转 
至 步骤 2) ,继续 循环 ; 

5) 着 C(x“) 宇 F(x*), 则 一 24 ,重新 计算 人 
的 值 ,返回 到 步骤 4) ,继续 循环 ,直到 满足 迭代 终止 
条 件 , 则 停止 循环 。 


定 精 度 


sn 
3 实验 


采用 Velodyne 16 线 激光 雷达 (VLP-16) 和 运动 
相机 (Gopro Hero5 session) 这 2 种 传感器 在 实际 项 
目 中 进行 联合 标定 及 数据 融合 实验 。 其 中 VLP-16 
激光 雷达 和 Gopro Hero5 session 相机 的 详细 参数 分 
别 如 表 1、 表 2 所 示 。 


表 1 VLP-16 激光 雷达 参数 


参数 名 称 参数 值 
测量 范围 /m 0 一 100 
测量 精度 /cm 士 3 
旋转 速率 /Hz 5~20 
激光 束 数量 16 
水 平方 向 :360” 
4 垂直 方向 :一 15 "一 十 15” 
扫 措 角度 水 平方 向 :2” 
和 垂直 方向 ;0.1 一 0. 4° 


表 2 Gopro Hero5 session 相机 参数 


参数 名 称 参数 值 
分 辩 率 /px 2 736X3 648 
视 场 120° 
焦距 /mm 2 
有 效 像素 /万 1 000 
电池 容量 /mAh 2 800 
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首先 基于 张 正 友 标 定 法 原理 对 运动 相机 进行 内 
参 标定 ,将 棋盘 格 标定 板 贴 在 平整 平面 上 , 再 基于 
MATLAB 软件 的 内 参 标定 模块 进行 运动 相机 内 参 
标定 。 相 机 内 参 标定 如 图 4 所 示 。 运 动 相机 经 过 内 
参 标定 后 ,内 参 标 定 结果 如 表 3 所 示 。 


图 4 相机 内 参 标定 


表 3 运动 相机 内 参 标定 结果 


相机 参数 参数 值 /pixel 
J 1 552. 69 
J 1 563. 01 
uo 1 828. 03 
vo 1 471. 32 


在 进行 激光 雷达 与 运动 相机 联合 标定 实验 时 , 采 
用 =5X8 印 有 黑白 棋盘 格 的 平面 标定 板 , 材 质 为 PVC 
材料 ,尺寸 为 20 cm X 32 cm。 为 提高 运动 相机 与 激 
光 雷 达 之 间 的 联合 标定 精度 ,首先 让 标定 板 都 处 于 两 
传感器 公共 视野 范围 内 ,并 尽 可 能 地 增 大 激光 雷达 扫 
描 时 落 在 标定 板 上 激光 点 云 的 数量 。 经 实验 , 当 标定 
板 与 激光 雷达 和 运动 相机 的 水 平 距 离 在 1 一 2 m 时 ， 
激光 雷达 扫描 落 在 标定 板 上 的 激光 点 云 的 条 数 和 数 
量 最 多 ,运动 相机 采集 的 图 像 也 可 通过 OpenCV 清 
晰 地 对 其 标定 板 图 像 的 角 点 进行 识别 和 检测 。 

通过 改变 标定 板 位 置 ,以 运动 相机 光 轴 为 对 称 
轴 ,对 称 采 集 20 个 不 同位 置 下 含 标定 板 的 激光 点 云 
数据 和 图 像 数 据 , 并 对 这 些 数据 进行 预 处 理 操作 。 对 
图 像 的 预 处 理 是 对 运动 相机 采集 的 图 像 进行 畸变 校 
正 操作 。 晴 变 校 正 前 后 对 比如 图 5 所 示 。 

对 激光 点 云 的 预 处 理 操 作 包括 点 云 滤波 点 云 配 
准 、. 手 动 与 自动 相 结合 的 方法 进行 点 云 分 割 及 通过 点 
云 中 心 迭 代 算 法 求 出 标定 板 点 云 中 心 坐 标 和 各 个 角 
点 坐标 。 激 光 点 云 经 过 点 云 滤波 可 去 除 激光 点 云 中 
的 离 群 点 和 噪声 点 。 滤 波 前 后 点 云 如 图 6 所 示 。 


(a 校正 前 


(b) 校正 后 


5 图 像 畸变 校正 前 后 对 比 


(b) 滤波 后 


6 滤波 前 后 点 云 
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由 于 采集 的 是 静态 环境 下 的 标定 板 激 光 点 云 ,都 应 的 点 云 坐 标 。 标 定 板 点 云 拟 合 图 如 图 8 所 示 , 激 光 
处 于 同一 点 云 坐标 系 下 ,无 需 进行 点 云 配 准 操作 。 点 雷达 与 运动 相机 联合 标定 流程 如 图 9 所 示 。 
云 分 割 采用 的 是 手动 与 自动 相 结合 的 方法 对 标定 板 


点 云 进 行 分 割 ,其 中 一 个 标定 板 位 置 下 点 云 分 割 前 场 
景 如 图 7 所 示 。 


ep 


| 


ee 

天 仿 

> 

局 图 7 点 云 分 割 前 场景 

QQ 

已 首先 通过 PolyWorks 2019 软件 对 原始 三 维 激光 


已 耕 进 行 手动 分 割 操作 ,手动 分 割 出 含 标 定 板 的 激光 
点 五 。 然 后 通过 Kmeans 聚 类 算法 对 含 标定 板 的 激 
兆 点 云 进 行 自动 处 理 , 得 到 仅 含 标定 对 象 且 边界 清晰 
定 板 点 云 。 最 后 基于 点 云 迭 代 算 法 求解 出 标定 
板 疝 云 的 中 心 坐 标 和 各 个 角 点 对 


到 


3 


DOODO DOO DO OO 
0.552 
0.316 
1.361 
0.118 
0.055 


图 8 标定 板 点 云 拟 合 图 


通过 运动 相机 内 参 和 矩阵 和 多 组 标定 板 点 云 角 点 
坐标 及 其 对 应 的 图 像 角 点 坐标 ,基于 直接 线性 变换 法 
原理 构造 多 组 线性 方程 组 ,并 对 线性 方程 组 求解 ,得 
出 激光 雷达 与 运动 相机 联合 标定 初 值 。 通 过 对 LM 
算法 引入 正定 矩阵 和 改变 迭代 步 长 的 方法 进行 迭代 ， 
求解 出 优化 后 的 联合 标定 矩阵 。LM 优化 算法 前 后 
结果 对 比如 表 4 所 示 。 


广 _ 有 放生 这 | 激光 点 云 忧 到 所 全 ,| 标定 板 点 云 | gp 4t 让 折 
© 标定 板 门 一 联合 标定 初 什 
= 人 片 到 相册 | 图像” 博 变 校 下 | 无 畸变 图 像 
1 
一 激光 点 云 厦 
O 6 旦 模型 -| 优化 后 联合 标定 参数 | 出 非 线性 优化 
相机 图 像 重 投影 并 数据 融合 
实现 三 维 场景 重建 
图 9 激光 雷达 与 运动 相机 联合 标定 流程 
表 4 LM 算法 优化 前 后 结果 对 比 
状态 旋转 矩阵 R 平移 向 量 T 重 投 影 误差 (像素 ) 
a 0.112 6 —1.038 5 0.016 5 
优化 前 ， 垂直 方向 ;21 
人 一 0.0103 0.024 4 一 0.945 8 [—0.018 7 一 0.992 6 —0.455] i 
| 0.993 9 0.1047 一 0.015 7| 
六 0.063 8 一 1.0842 0.005 外 
优化 后 一 0.0698 0.0297 一 0.976 9 [一 0.0145 一 0.878 6 —0.446] 加 
| 0.910 5 0.0487 一 0.006 4 人 


迭代 优化 完成 后 ,使 用 优化 后 的 联合 标定 矩阵 进 
行 点 云 重 投影 ,并 计算 图 像 实际 角 点 的 像素 坐标 与 激 
光 点 云 重 投影 至 图 像 像 素 坐 标 下 角 点 之 间 的 误差 , 即 
重 投影 误差 。 由 于 采用 的 运动 相机 焦距 只 有 2.77 
mm 分辩 率 为 2 736X3 648, 经 过 LM 算法 优化 后 重 


投影 误差 与 初 值 相 比 ,垂直 方向 误差 降低 了 7 个 像 
素 ,水 平方 向 误差 降低 了 8 个 像素 , 重 投 影 误差 降低 
了 约 35%。 标 定 板 图 像 角 点 识别 和 点 云 重 投影 角 点 
图 如 图 10 所 示 , 其 中 ,红色 圆 框 表示 经 OpenCV 进 
行 图 像 识别 的 角 点 , 蓝 色 的 表示 点 云 重 投影 的 角 点 位 


22050000164010 


352 桂林 电子 科技 大学 学 报 


10 李 红 帅 .fbd 


2022 年 10 月 


置 。 经 过 LM 算法 优化 后 , 重 投影 误差 明显 降低 ,点 
云 重 投影 优化 前 后 对 比如 图 11 所 示 ,优化 后 重 投影 
到 标定 板 的 激光 点 云 更 清晰 。 


(b) 优化 后 
11 点 云 重 投影 优化 前 后 对 比 


要 实现 激光 点 云 与 图 像 融合 , 需 基 于 共 线 方程 原 
理 并 通过 图 像 像 素 点 与 点 云 单 应 性 计算 方法 求解 出 
三 维 激 光 点 云 坐标 所 对 应 的 图 像 像素 坐标 ,并 将 图 像 
像素 坐标 处 的 RGB 值 赋 给 相应 的 激光 点 云 ,最 终 实 
现 激光 点 云 与 图 像 融合 的 三 维 重 建 汪 5 。 三 维 室内 
环境 重建 效果 如 图 12 所 示 。 
4 结束语 


针对 运动 相机 与 激光 雷达 之 间 的 数据 匹配 问题 ， 


(a) 部 分 场 
As 


二 局 
是 


al N 


(b) 全 场景 


图 12 三 维 室内 环境 重建 效果 


设计 了 一 种 基于 LM 算法 的 运动 相机 与 激光 雷达 联 
合 标定 优化 方法 。 实 验 结果 表明 ,利用 多 组 标定 板 点 
云 角 点 坐标 和 对 应 的 图 像 角 点 坐标 ,通过 直接 线性 变 
换 法 求解 出 两 传 感 吉 间 联合 标定 初 值 , 经 LM 优化 
算法 迭代 求解 后 ,得 到 优化 后 的 联合 标定 结果 。 利 用 
该 联合 标定 结果 ,将 激光 点 云 重 投影 至 图 像 , 与 联合 
标定 初 值 相 比 ,其 重 投影 误差 降低 了 约 35%。 最 后 
利用 联合 标定 结果 并 基于 共 线 方程 原理 实现 了 激光 
点 云 与 图 像 融 合 的 三 维 重 建 ,为 数字 摄影 测绘 领域 发 
展 提供 了 依据 。 
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